[レポート]Amazon SageMaker HyperPodで高性能なFMをスケールして実行 #AIM314-R1

AWS認定トレーニング講師の平野@おんせん県おおいたです。

今日は「Run high-performing FMs at scale with Amazon SageMaker HyperPod」というタイトルのワークショップについてレポートします。

公式セッション紹介（日本語訳）

概要/オススメポイント

Amazon SageMaker HyperPod でトレーニング用のクラスターを構築するワークショップになります。

このワークショップは下記のように公開されています。

https://catalog.us-east-1.prod.workshops.aws/workshops/2433d39e-ccfe-4c00-9d3d-9917b729258e/en-US

この中可から下記のようにピックアップしてハンズオンが実施されました。

• 0. Prerequisites
  • 1. At an AWS Event
• 1. Cluster Setup
  • a. Setup Environment Variables
  • b. Configure the EKS Cluster
  • c. Install Dependencies
  • d. Create the HyperPod Cluster
  • e. View the AWS Console
• 8. Observability
  • 1. Amazon CloudWatch Container Insights
    • a. Container Insights setup
• 5. Pytorch DDP on CPU
  • c. Simple Execution
    • 9. Resiliency
      • a. Manual Reboot (while training job is running)
• 6. Ray on HyperPod
  • a. Setup
    • 1. Open aws-do-ray container shell
    • 2. Configure AWS credentials and environment variables
    • 3. Verify connection to hyperpod cluster
    • 4. Setup dependencies
         c. Serving Stable Diffusion Model for Inference
    • 1. Create a RayService
    • 2. Access Ray Dashboard (Optional)
      • a. Port-forward the service locally and use a terminal-based browser to view the dashoard
      • a. Port-forward the service locally and use a terminal-based browser to view the dashoard
    • 3. Inference
      • Edit stable_diffusion_cpu_req.py and modify the value of variable prompt to customize your request
• 8. Observability
  • 1. Amazon CloudWatch Container Insights
    • b. Container Insights Dashboards

まとめ

ワークショップの概要を紹介しました。
基盤モデルの学習は規模が多くなり、クラスターでのトラブルの影響が広くなります。
それを解決するための手法となります。
普段利用しないサービスでしたので、かなり勉強になりました。